MemSteer:将用户历史转化为智能体记忆优化监督
🧭 智能体记忆设计自动优化 ★ 深度解读
Peking University · Microsoft Research Asia
从无标注用户历史自动生成证据支撑的 QA 监督,用于迭代优化记忆存储、检索与上下文构造
📌 工作参考价值(4 点)
- 用自动生成的 QA-evidence 监督替代人工标注:在个性化记忆、用户画像、会话上下文的评估与优化中,可以从用户历史自动构建问题-答案-证据三元组,作为弱监督信号,避免昂贵的标注。
- 证据引导的失败归因:把错误响应定位到存储、检索或生成阶段,能精准指导设计修改。类似推荐系统中定位召回、排序或重排问题,提升迭代优化效率。
- 跨用户迁移 + 目标用户继续优化:先用一组用户学习共享记忆设计,再用目标用户历史生成的 QA 继续微调,适合冷启动场景。
- 盲答案恢复与源审计保证数据质量:合成数据必须通过可验证的检查才能用于训练或评估,这可以作为数据清洗和评估集构建的通用流程。
先高亮后摘要:学习为长上下文理解压缩证据
🧭 长上下文推理 · 证据压缩与强化学习 ★ 深度解读
Peking University · Baidu Inc. · Tsinghua University
提出 Highlight-Then-Summarize:先定位证据再生成问题条件摘要,压缩长上下文并提升推理
📌 工作参考价值(4 点)
- 在电商/Agent 场景中,对长商品说明、多跳用户评论、客服对话或政策条款,可让模型先输出「证据块 ID + 关键 span」再生成「问题条件摘要」,最后作答;这样既保留溯源能力,又减少无关内容对推理的干扰。
- 借鉴 H2S-RL 的过程奖励设计:不要只奖励最终答案,把 evidence grounding、span F1、summary ROUGE-L 和结构完整性分开给确定性的 programmatic reward;不依赖在线 LLM judge,适合离线训练和工程化。
- 给上下文分块并分配稳定 ID 的做法很实用:在搜索/推荐系统里对长文档、商品详情、用户历史做地址化,可支持后续引用、归因和审计,成本低。
- H2S 在 4K 输出预算下接近 16K 的表现,说明把压缩外化为显式 intermediate 比放任长 CoT 更省 token;在线上低延迟/低成本约束下,可优先考虑先压缩证据再推理的架构。
通过多轮证据消融评估与改进大语言模型事实核查的证据依据性
🧭 RAG 事实核查 · 证据依赖性评估与训练
University of Sheffield
提出 FAE 多轮证据消融评估与 REAL 反事实训练,揭示 LLM 更依赖参数知识并提升证据依赖性
📌 工作参考价值(4 点)
- 在商品/广告审核、评价真实性验证等 LLM-as-verifier 场景,可用 FAE 式多轮证据消融做上线前审计:逐条移除或替换 cited evidence,观察模型预测是否翻转,识别“参数记忆强于上下文”的风险。
- REAL 的反事实证据训练可直接迁移:不只使用完整证据+标签,也构造删除支撑证据、替换为不相关或相反证据的样本,强制模型在证据缺失时改变判断,增强系统对检索质量的敏感性。
- 把“证据依赖度”作为与准确率并行的评测指标,特别适用于广告合规、商品属性校验等高风险任务,避免高准确率但弱 grounding 的 LLM 上线。
- 若在用 LLM 生成推荐理由或搜索解释,可借鉴多轮 evidence ablation 验证解释是否真实来自用户历史/商品信息,而非模型通用说辞。
TruthInsightBench:面向开放式科学发现智能体的证据基准评估
🧭 Agent 科学发现评估基准
TruthInsight-AI
提出区分复现与发现的基准,用固定 LLM 裁判评估智能体声明的证据成熟度,揭示瓶颈在科学判断而非编码
📌 工作参考价值(4 点)
- 在评估推荐/广告 Agent 时,引入“盲任务”设计:只给中性业务目标(如“提升点击率”)和冻结历史数据,隐藏已知最优策略,考察 Agent 能否自主提出可验证的假设和实验方案,而不是复现预设的优化流程。
- 借鉴其“声明-证据成熟度”的 6 维度/29 项检查表,为推荐 Agent 输出建立证据审计清单:是否包含对照组设计、鲁棒性检查(不同时间段/人群分片)、可证伪性(明确什么结果会否定假设)、跨数据集/场景泛化验证等,量化决策质量。
- 采用固定 LLM judge + 确定性聚合实现自动化评估,降低人工标注成本,支持 Agent 自我迭代。具体实现:将 Agent 产出拆解为可核验 artifact(图表、统计结果、实验设计),让 LLM 对每个证据项打分,再用规则聚合,避免 LLM 主观偏差。
- 结论“瓶颈在科学判断而非编码”提示:在推荐系统中引入 Agent 时,应优先加强推理、实验设计和因果推断模块,而非只提升代码生成能力,可接入因果推断工具或 A/B 测试模拟器。
SciLENS:RL驱动的本地科学文献证据导航与综述智能体
🧭 Agent 科学文献证据导航
Tsinghua University · Renmin University of China · Institute of Information Engineering, CAS · USTC · Peking University
全本地科学文献Agent,以结构可视化与逆向分解过程奖励训练,性能对标GPT-5.2
📌 工作参考价值(4 点)
- 把“结构可视化”作为 agent 可调用工具放进推理循环:在电商知识图谱(商品、类目、品牌、共购关系)上先抽取多跳子图,压缩成图表/拓扑摘要喂给 LLM,避免原始实体列表塞满 context;适合类目规划、趋势综述、归因分析等宏观任务。
- 自动化标注管道:用已有行为图/商品知识图谱构建多跳子图问题,采用多模型共识(如 3-5 个强模型投票)过滤,零人工标注生成用于推荐/搜索 agent 的监督与 RL 训练样本。
- 逆向分解式过程奖励:奖励不只给最终答案,将最终证据链反推成“规划→检索→引用”的 rubrics,分别给过程 reward;可迁移到购物助手、搜索 agent 训练,约束中间过程必须引用真实商品/证据,提升可追溯性。
- 全本地双 tier 索引+LLM:若业务对隐私/合规有要求,可参考本地向量库+图索引服务约千万级商品/内容,既保证离线可部署,又降低 API 成本,适合电商搜索/推荐中的合规助手。
面向开放世界地理定位的感知-假设-验证智能体推理框架
🧭 Agent 推理与证据验证定位
The Hong Kong University of Science and Technology (Guangzhou) · The Hong Kong University of Science and Technology
提出 GeoPAVE 双层智能体框架,以感知生成假设、验证证据支撑决策来缓解幻觉与上下文漂移
📌 工作参考价值(4 点)
- 借鉴感知-假设-验证双层结构:在商品图像识别/以图搜货中,先让模型生成候选品牌、款式、材质等假设,再调用商品知识库或属性检测工具对假设做 support/refute/refine,降低多模态 LLM 的幻觉率和错配率。
- 显式证据 grounding 适合召回/排序前的 query 理解:对用户上传图片或模糊描述,不直接输出结果,而是要求模型先提取可验证证据(logo、包装、场景文字)并逐步推断,减少上下文漂移。
- 将决策动作离散化为 support/refute/refine,可以作为推荐 Agent 中的通用校验模块,对 LLM 生成的推荐理由或商品属性进行多轮事实核查后再返回用户,提升可解释性和可信度。
- 构建包含多跳查询、多轮工具调用和结构化推理轨迹的数据集,方式可迁移到电商场景,用于训练/评估带工具调用的推荐 Agent,但需注意增加在线推理时延与成本控制。
开放世界智能体技能创建:SkillAlchemy
🧭 Agent 技能自动创建与证据准入 ★ 深度解读
Beihang University · Shandong University · Northwestern Polytechnical University
提出基于证据准入的框架,从开放世界材料自动创建可复用 Agent 技能,性能接近人工策划
📌 工作参考价值(4 点)
- 隐式需求挖掘可迁移到 query/对话推荐:用对比探测(替换、边界、邻居)从简短 brief 或用户 query 中挖掘遗漏的操作维度,例如从“7天欧洲旅行”中识别出预算、旅客类型、出行方式等隐含条件,可用于电商领域的 query 补全、推荐策略扩展或对话式需求澄清。
- 证据准入机制防止过拟合到局部案例:区分“通用指令”“局部示例”“排除项”的三分类决策,强制要求跨场景一致性证据才能推广为通用规则。在电商推荐策略生成中,可避免把某个爆款商品的特定操作误认为平台级策略,只保留有跨品类或跨场景支持的通用做法。
- 渐进式技能包组织节省推理上下文:借鉴 skill grammar 和文件分层(核心指令在 SKILL.md,细节放 references/scripts),在构建 Agent 工具库或推荐策略库时,把高频核心逻辑保持精简,低频案例外部化,既能提高加载效率,又降低 token 消耗。
- 对抗性来源鲁棒性可应用于外部数据清洗:论文验证了无关、冲突、对抗性源材料会被现有创建器误吸收,而 SkillAlchemy 通过明确的 admission 记录排除。在从用户评论、市场报告等开放数据提取洞察时,可以借鉴其“支持性+一致性+可复用性”的准入检查,减少噪声污染。
LineageRAG:构建带来源锚定的证据谱系增强 GraphRAG
🧭 GraphRAG 多跳证据溯源与锚定
XiaoLab, Beijing University of Posts and Telecommunications · Xi'an Jiaotong University
为每个证据需求构建显式谱系并通过原文字段锚定来源,显著改善多跳检索与生成效果
📌 工作参考价值(3 点)
- 在电商知识图谱/商品属性图上做多跳推理时,可先将用户 query 拆成多个证据需求(如品类、属性、场景约束),并在图谱遍历中保留每个候选与需求的绑定关系,避免最终结果只覆盖部分意图。
- Agent 做多步检索/推荐解释时,可借鉴 lineage completion:用已检索片段的 provenance 选择互补证据,并强制对每个需求提供原文字段支撑,缺少支撑的需求触发补召回或降低置信度,从而提高可解释性和防幻觉能力。
- 工程上可把“需求初始化 → 需求条件检索 → 谱系补全 → 来源锚定”拆成独立模块,在电商 RAG pipeline 中输出带有引用来源的结构化证据链,便于 debug、评估和线上链路追踪。
基于图骨架证据支撑的个性化深度研究查询细化
🧭 个性化查询细化 · 意图引出图 · 澄清策略
Yonsei University
利用意图引出图学习澄清策略,在平衡目标覆盖与证据成本下生成个性化查询,用户提问减少三分之二
📌 工作参考价值(4 点)
- 在对话式推荐/搜索中,可借鉴意图引出图建模用户意图间的依赖关系,自动决定何时澄清、调用用户画像或记忆,避免低效反问。
- 澄清策略训练可基于图结构轨迹,模拟不同依赖与证据条件,学习最优的问询次数与顺序,平衡个性化增益与交互成本。
- 对于黑盒生成式 Agent(如商品文案、搜索 query 改写),可通过优化输入 query 实现个性化,无需侵入内部 pipeline,降低工程耦合。
- 证据条件判断(已有上下文是否足够)可直接用于多轮对话中判断是否需要召回外部知识或用户历史,减少无效检索。
需求-证据对齐的电商组合查询重排序框架
🧭 需求感知的重排序优化 ★ 深度解读
Beihang University · Meituan
将查询需求与商品证据显式对齐,通过需求感知分组策略优化,大幅减少组合查询中的近线失误
📌 工作参考价值(4 点)
- 查询结构化:可将用户查询拆解为类型化的需求原子(类型、操作符、值、强度、证据要求),作为排序模型的显式输入特征
- 证据对齐可作为排序信号:用确定性验证器对比需求与商品属性,给出满足/违反/未支持的三态标记,并将其压缩为紧凑向量,输入重排模型,提供可解释的排序依据
- 优化目标设计:在列表效用中集成需求满足度、证据覆盖率、违规惩罚,利用 R‑GRPO 直接针对组合查询中的约束满足进行策略优化,可迁移到电商推荐排序的强化学习框架
- 软硬需求区分:区分硬约束与软偏好,仅对违反硬需求进行惩罚,而对缺失证据的商品不直接降级,这种设计避免误杀,适合处理商品信息不全的场景
PAGE-RAG:基于投影感知自适应图检索的长文档问答
🧭 图增强检索 · 自适应路由
成都信息工程大学 · 北京航空航天大学
将图视为文档语义骨架,通过任务自适应路由和知识边界控制提升长文档问答的可靠性和效率
📌 工作参考价值(4 点)
- 自适应检索路由可用于电商多源知识问答:在商品知识库、政策文档等长文本场景,根据问题类型动态选择只查图、只查原文档或两者结合,平衡效率与质量,避免图检索的过度开销或信息遗漏
- 图作为语义骨架而非独立知识源:在构建商品属性图、类目关系图时,明确图仅是文档的辅助导航结构,最终答案仍需回源文档验证,可减少因图结构不完备导致的幻觉
- 知识边界控制机制可直接迁移:在客服Agent或商品推荐解释生成中,通过定义证据范围拒绝回答超出知识覆盖的问题,提升系统可信度,避免编造描述
- 检索行为显式路由:可启发在推荐/搜索中设计查询理解模块,动态选择不同检索策略(如稠密检索、图检索、混合检索),而非一刀切,提升长尾查询效果
ResearchStudio-Idea:从顶会论文中学习可复用研究构思模式的技能套件
🧭 自动化研究构思 · 证据驱动生成
Nanyang Technological University · Microsoft Research · National University of Singapore · CF AR, A*STAR
从机器学习顶会论文中提取15种可复用构思模式,构建证据驱动的端到端创意生成工作流
📌 工作参考价值(4 点)
- 模式提取可复用到策略创意生成:类似地从历史高转化广告文案、高效召回策略中挖掘重复出现的“成功模式”(如特定痛点切入、差异化角度),形成结构化卡片,引导 Agent 批量生成新的营销方向或推荐策略。
- 证据准备度检查模板:在接收业务需求(如提升冷启动推荐效果)时,先让系统核查输入信息的充分性(类似 IdeaSpark 的 evidence readiness),避免基于不完整上下文生成低质量方案。
- 碰撞检测机制用于创意排重:在批量生成推荐理由或 push 文案时,可引入类似 Scoop-Check 的冲突检索,确保新颖性,防止重复已有内容或竞品方案。
- 审查与追溯卡片提升交付物可信度:对生成的推荐策略附上“提案卡片”,包含依赖的前人工作、可能失败模式,便于工程团队评估风险、追溯决策依据,尤其适合 Agent 辅助的离线策略推荐场景。